در بارهء آن با ياران خويش مشورت كرد و از جمله كسانى كه با آنها مشورت كرد خالد بن برمك بود كه راى موافق داشت . على بن عصمه گويد : خالد بن برمك شهر ابو جعفر را براى وى خط كشى كرد و در بارهء آن راى موافق داد و چون محتاج مصالح شد ، به دو گفت : « در بارهء اينكه شهر ايوان كسرى را كه در مداين است ويران كنيم و مصالح آن را به اين شهر بياريم چه مىگويى ؟ » خالد گفت : « اى امير مؤمنان راى من چنين نيست . » گفت : « چرا ؟ » گفت : « از آن رو كه يكى از نشانه هاى اسلام است كه هر كه ببيند از روى آن بداند كه كسانى همانند صاحبان آن به سبب كار دنيايى متعرض نمىشده‌اند بلكه اين به سبب كار دين بوده است بعلاوه اى امير مؤمنان نمازگاه على بن ابى طالب صلوات الله عليه نيز آنجاست . گفت : « اى خالد هميشه از ياران عجم خويش جانبدارى مىكنى . » و بگفت تا قصر سپيد را ويران كنند و مصالح آن را ببرند ، يك طرف قصر را ويران كردند و مصالح آن را ببردند و چون در مبلغى كه براى ويران كردند و بردن بايسته شان بود نظر كردند آن را از بهاى آماده كردن مصالح نو بيشتر يافتند و اين را به منصور خبر دادند كه خالد بن برمك را پيش خواند و آنچه را براى ويران كردن و بردن مصالح بايسته شان بود معلوم وى داشت و گفت : « راى تو چيست ؟ » گفت : « اى امير مؤمنان پيش از اين رأى من آن بود كه نكنى اما اكنون كه كرده اى رأى من اين است كه ويران كنى تا به پايه هاى آن برسى كه نگويند از ويران كردن آن ناتوان مانده اى . » اما منصور از اين كار چشم پوشيد و گفت كه ويران نشود . موسى بن داود مهندس گويد : مأمون اين حديث را براى من نقل كرد و گفت : « اى موسى اگر بنايى براى من بنياد كردن چنان كن كه از ويران كردن آن فرومانند تا اثر و نشان آن بماند . »